El cambio de paradigma: de los modelos específicos por tarea a los LLM

Evolución del PLN: de la IA fragmentada a los modelos fundacionales

Definiciones

• IA fragmentada: Una era definida por arquitecturas neuronales discretas y especializadas, diseñadas para tareas individuales como el etiquetado de secuencias o la clasificación.
• Modelo fundacional: Una arquitectura transformer unificada y monolítica que trata todos los problemas lingüísticos como una secuencia generativa de texto a texto $x \rightarrow y$.

Conceptos clave

• Consolidación arquitectónica: Históricamente, el PLN requería pipelines a medida (Bi-LSTM para NER, CNN para análisis de sentimiento). Los LLM colapsan estos silos en una única columna vertebral donde se utilizan los mismos pesos para cada tarea.
• La interfaz unificada: Los LLM reemplazan las "cabezas de salida" especializadas (p. ej., Softmax de 3 clases) con una interfaz en lenguaje natural. Las entradas y salidas siempre son cadenas de texto, lo que permite al modelo interpretar la intención en lugar del formato.
• Transferencia de conocimiento: Los modelos tradicionales eran "tabula rasa" para cada tarea. Los LLM priorizan la generalización primero, donde las tareas específicas son meras aplicaciones de una representación interna del lenguaje robusta y preexistente.

Contexto histórico

• Antes de 2018: El aislamiento de tareas requería entrenar modelos distintos con diferentes funciones de pérdida $\mathcal{L}_{task}$.
• Era moderna: El paradigma "texto a texto" permite que un único modelo (p. ej., Llama-3) cambie de tarea mediante prompting zero-shot o few-shot.